Công trình chính của Cantor những năm 1874-1884 là nguồn gốc của lý thuyết tập hợp[28]. Trước công trình này, quan niệm về tập hợp đã là một quan niệm cơ bản được sử dụng ngay từ buổi khởi đầu của toán học, có thể lần ngược nguồn gốc tới những tư tưởng của Aristotle[b]. Tuy nhiên trước Cantor, chỉ có những tập hợp hữu hạn (tương đối dễ hiểu) và "cái vô hạn" (nhưng là một chủ đề triết học thay vì toán học). Bằng cách chứng minh rằng có nhiều (vô hạn) những kích cỡ có thể cho các tập hợp vô hạn, Cantor đã khẳng định rằng lý thuyết về tập hợp là không vô nghĩa, rằng cần thiết phải nghiên cứu nó. Lý thuyết tập hợp đã đóng một vai trò một lý thuyết nền tảng trong toán học hiện đại vì nó cho phép diễn dịch những mệnh đề về các đối tượng toán học (chẳng hạn, số và hàm số) từ tất cả những ngành truyền thống của toán học (đại số, giải tích, tô pô trong một lý thuyết duy nhất, và cung cấp một tập hợp những tiên đề để chứng minh hay bác bỏ chúng[29].

Trên một trong những bài viết đầu tiên của mình, Cantor đã chứng minh rằng tập hợp các số thực là "đông đúc hơn" (tức là, lực lượng của tập hợp lớn hơn) so với tập hợp các số tự nhiên; điều này lần đầu tiên chỉ ra sự tồn tại các tập vô hạn với kích thước (lực lượng) khác nhau. Ông cũng là người đầu tiên đánh giá tầm quan trọng của tương ứng một-một trong lý thuyết tập hợp. Ông sử dụng quan niệm này để định nghĩa các tập hữu hạn và các tập vô hạn, phân loại các tập vô hạn thành các tập đếm được và các tập không đếm được[30].

Cantor đã phát triển các khái niệm quan trọng trong tô pô và quan hệ giữa nó với lực lượng tập hợp. Chẳng hạn, ông chỉ ra rằng các tập Cantor không bao giờ dày đặc, mà có cùng lực lượng với tập tất cả số thực, trong khi các số hữu tỉ dày đặc ở mọi điểm nhưng có thể đếm được.

Cantor đưa ra những cấu trúc cơ bản trong lý thuyết tập hợp, như tập lũy thừa của một tập A, là tập tất cả các tập hợp con khả dĩ của A. Ông chứng mình rằng kích thước của tập lũy thừa của A lớn hơn kích thước của A, ngay cả khi A là một tập vô hạn; điều này về sau gọi là Định lý Cantor. Cantor phát triển một lý thuyết toàn diện và số học về các tập vô hạn, gọi là bản số và tự số, một sự mở rộng số học về các số tự nhiên. Ký hiệu ông dùng cho bản số là chứ cái Hebrew aleph ℵ {\displaystyle \aleph } với một chỉ số dưới là số tự nhiên, đối với các tự số ông dùng chữ cái Hy Lạp omega ω; cách ký hiệu này vẫn duy trì tới ngày nay.

Giả thuyết continuum, do Cantor đưa ra và sau này David Hilbert dùng làm bài toán thứ nhất trong số hai mươi ba bài toán thế kỷ ông đưa ra tại Đại hội Các nhà toán học Quốc tế ở Paris năm 1900. Công trình của Cantor cũng nhận được sự chú ý đặc biệt ngoài lời tán dương nổi tiếng của Hilbert[31]. Triết gia người Mỹ Charles Sanders Peirce ca tụng lý thuyết tập hợp, và sau các bài thuyết trình của Cantor tại Đại hội Các nhà toán học Quốc tế lần thứ nhất ở Zurich năm 1897, Adolf Hurwitz và Jacques Hadamard đồng loạt biểu thị sự ngưỡng mộ. Cũng tại Đại hội đó, Cantor giảng hòa với Dedekind. Từ 1905, Cantor thường liên lạc với người hâm mộ và là dịch giả của ông, một người Anh tên là Philip Jourdain về lịch sử lý thuyết tập hợp và các quan điểm tôn giáo của Cantor.

Lý thuyết số, chuỗi lượng giác và bản số

Mười bài báo đầu tiên Cantor công bố đều liên quan tới lý thuyết số, cũng là đề tài luận văn của ông. Dưới sự gợi ý của Eduard Heine, Cantor chuyển sang giải tích. Heine đề nghị Cantor giải một bài toán để ngỏ mà Dirichlet, Lipschitz, Bernhard Riemann và bản thân Heine đã đi vào ngõ cụt: tính duy nhất của phép biểu diễn một hàm số bằng chuỗi lượng giác. Cantor giải bài toán phức tạp này năm 1869. Chính vào thời gian làm việc với bài toán này ông đã khám phá ra các bản số siêu hạn, xuất hiện như chỉ số n trong tập lấy đạo hàm thứ n Sn của một tập S các không điểm của một chuỗi lượng giác. Cho trước một chuỗi lượng giác f(x) với S là tập các không điểm của nó, Cantor đã khám phá ra một quy trình sinh các chuỗi lượng giác khác có S1 là tập các không điểm của nó, tại đó S1 là tập các điểm giới hạn của S. Nếu Sk+1 là tập các điểm tới hạn của Sk, thì ông có thể xây dựng một chuỗi lượng giác mà các không điểm là Sk+1. Bởi các tập Sk đều là tập đóng, chúng chứa các điểm giới hạn, và giao của các dãy vô hạn giảm dần của các tập S, S1, S2, S3 tạo nên một tập hữu hạn, mà chúng ta gọi là Sω, và sau đó ông chỉ ra rằng Sω cũng phải có một tập các điểm giới hạn Sω+1, và cứ thế mãi. Ông có những ví dụ tiếp diễn mãi mãi, và đó là một dãy vô hạn xuất hiện tự nhiên ω, ω+1, ω+2,...[32].

Giữa những năm 1870 và 1872, Cantor xuất bản thêm nhiều bài báo về chuỗi lượng giác, đồng thời một bài xác định các số ảo như là những dãy hội tụ của các số thực. Dedekind, người kết bạn với Cantor từ 1872, trích dẫn bài báo này trong năm ấy, gọi định nghĩa nổi tiếng về các số thực là lát cắt Dedekind. Trong khi mở rộng định nghĩa về số theo quan niệm có tính cách mạng về bản số vô hạn, Cantor lại đối lập một cách đầy nghịch lý đối với các đại lượng vô cùng bé do những người đương thời là Otto Stolz và Paul du Bois-Reymond đề xướng, mô tả chúng là một "điều ghê tởm", "một thứ vi khuẩn tả của toán học"[33]. Cantor cũng từng công bố một "chứng minh" sai về tính không nhất quán của các vô cùng bé[34].

Lý thuyết tập hợp

Bài báo của Cantor công bố năm 1874, "Über eine Eigenschaft des Inbegriffes aller reellen algebraischen Zahlen" ("Về một thuộc tính của tập hợp tất cả số đại số thực")[35], đã đánh dấu sự ra đời của lý thuyết tập hợp như một nhánh của toán học[28]. Bài báo này lần đầu tiên cung cấp một phép chứng minh chặt chẽ rằng có nhiều hơn một loại vô hạn. Trước đó tất cả các tập vô hạn hoàn toàn quy là "cùng lực lượng" (nghĩa là cùng "kích thước" hay cùng số phần tử)[c]. Cantor chứng minh rằng tập các số thực và tập các số nguyên dương là không cùng lực lượng. Nói một cách khác, các số thực là không thể đếm được. Phép chứng minh này phức tạp hơn luận cứ chéo Cantor tao nhã hơn mà ông đưa ra năm 1891[36]. Bài viết của Cantor cũng chứa một phương pháp mới để xây dựng các số siêu việt, thay cho phương pháp đầu tiên mà Joseph Liouville tìm ra năm 1844[37].

Cantor kiến tạo các kết quả này bằng cách sử dụng hai phép xây dựng. Phép xây dựng thứ nhất chỉ ra cách viết các số đại số thực[d] như một dãy a1, a2, a3, .... Nói cách khác, các số đại số thực có thể đếm được. Cantor bắt đầu phép xây dựng thứ hai với bất kì dãy số thực nào. Sử dụng dãy này, ông xây dựng các khoảng lồng nhau mà giao của chúng chứa một số thực không nằm trong dãy. Bởi vì mọi dãy số thực có thể dùng để xây dựng một số thực không nằm trong dãy, các số thực không thể viết thành một dãy-nghĩa là, các số thực là không đếm được. Bằng cách áp dụng phép xây dựng đối với dãy các số thực đại số, Cantor tạo nên một số siêu việt. Ông chỉ ra rằng các phép xây dựng của mình chứng tỏ nhiều hơn thế; cụ thể, chúng cung cấp phép chứng minh mới cho định lý Liouville: mọi khoảng chứa nhiều vô hạn những số siêu việt[38]. Bài báo tiếp theo của Cantor chứa một phép xây dựng chứng tỏ rằng tập hợp các số siêu việt có cùng lũy thừa với tập các số thực[e].

Giữa những năm 1879 và 1884, Cantor đã đăng một loạt sáu bài báo trên tờ Mathematische Annalen, cùng với nhau chúng tạo nên một dẫn nhập về lý thuyết tập hợp. Cùng lúc, có một sự phản đối ngày càng tăng lên đối với các ý tưởng của Cantor, do Kronecker chủ xướng, những người chấp chận các khái niệm toán học chỉ nếu chúng có thể xây dựng trong một số hữu hạn các bướcc từ những số tự nhiên, điều hợp với trực giác thông thường. Đối với Kronecker, các thứ bậc vô hạn khác nhau của Cantor là không thể chấp nhận được, vì tiếp thu quan niệm về vô hạn thực sẽ mở ra cánh cửa tới những nghịch lý thách thức tính đúng đắn của toàn thể toán học[39]. Cantor cũng đưa ra khái niệm tập Cantor trong thời kỳ này.

Bài báo thứ năm trong loạt bài, "Grundlagen einer allgemeinen Mannigfaltigkeitslehre" ("Những Nền tảng của một Lý thuyết Tổng quán về các Tập hợp") công bố năm 1883, là bài quan trọng nhất và được xuất bản dưới dạng chuyên khảo. Nó chứa đựng lời đáp trả của Cantor đối với những phê phán nhắm vào ông và chỉ ra cách làm thế nào những số siêu thực là một mở rộng hệ thống của các số tự nhiên. Nó bắt đầu bằng cách định nghĩa các tập chặt chẽ. Các tự số cũng được đưa ra, như là các loại thứ bậc của tập chặt chẽ. Sau đó Cantor định nghĩa phép cộng và nhân của các bản số và tự số. Năm 1885, Cantor mở rộng lý thuyết về các dạng thứ bậc khiến cho tự số đơn giản trở thành một trường hợp đặc biệt của các dạng thứ bậc.

Năm 1891, ông công bố một bài báo chứa "luận cứ chéo" (phương pháp chéo) về sự tồn tại của một tập không đếm được. Ông áp dụng ý tưởng giống như khi chứng minh Định lý Cantor: lực lượng của một tập lũy thừa của tập A là lớn hơn lực lượng của A. Điều này thiết lập sự phong phú các thứ bậc của các tập vô hạn, và của số học về bản số và tự số mà ông định nghĩa. Luận cứ của ông có ý nghĩa cơ bản trong lời giải của bài toán dừng và phép chứng minh định lý thứ nhất về tính không đầy đủ của Gödel. Cũng vào năm 1894, Cantor viết bài về Giả định Goldbach.

Năm 1895 và 1897, Cantor xuất bản bài báo hai phần trên tờ Mathematische Annalen do Felix Klein biên tập; đây là bài báo quan trọng cuối cùng của ông về lý thuyết tập hợp[40]. Phần thứ nhất bắt đầu bằng việc định nghĩa tập hợp, tập con, v.v.. theo cách mà ngày nay chấp nhận rộng rãi. Số học về bản số và tự số cũng được xem xét. Cantor muốn phần thứ hai bao gồm một phép chứng minh cho giả thuyết continuum, nhưng đã phải dành để diễn giải về các tập chặt chẽ và tự số. Cantor nỗ lực chứng minh rằng nếu A và B là các tập hợp với A tương đương với một tập con của B và B tương đương với một tập con của A, thì A và B tương đương với nhau. Ernst Schröder đã khẳng định định lý này ít lâu trước đó, nhưng phép chứng minh của ông này, cũng như của Cantor, còn có khe hở. Phải đến năm 1898 trong luận văn tiến sĩ Felix Bernstein mới cung cấp một phép chứng minh đúng đắn, do đó mà có tên định lý Cantor-Bernstein-Schroeder.

Tương ứng một-một

Bài báo năm 1874 gửi cho tạp chí Crelle (do Kronecker chủ biên) là bài đầu tiên viện dẫn khái niệm tương ứng một-một (song ánh), mặc dù ông không dùng cụm từ đó. Ông bắt đầu tìm kiếm tương ứng một-một giữa các điểm trên một hình vuông đơn vị và các điểm của một đoạn thẳng đơn vị. Trong lá thư gửi Dedekind năm 1877, Cantor chứng minh một kết quả mạnh hơn nhiều: đối với bất kì số nguyên dương n nào, tồn tại một tương ứng một-một giữa các điểm của đoạn thẳng đơn vị và tất cả các điểm trong một không gian n chiều. Câu nói của Cantor trong lá thư về khám phá này đã trở thành nổi tiếng "Je le vois, mais je ne le crois pas!" ("Tôi thấy nó, nhưng tôi không tin nó!")[41]. Kết quả mà ông thấy quá đỗi ngạc nhiên có những ngụ ý trên hình học và định nghĩa về chiều không gian.

Năm 1878, Cantor gửi một bài báo khác tới Crelle, trong đó ông định nghĩa một cách chính xác khái niệm về tương ứng một-một, và đưa ra định nghĩa về "lực lượng" tập hợp (một thuật ngữ mượn từ Jakob Steiner) sự "tương đương" của các tập hợp: hai tập hợp là tương đương (có cùng lực lượng) nếu tồn tại tương ứng một-một giữa chúng. Cantor định nghĩa các tập có thể đếm được (hay có thể đánh số được) là không gian Euclid n chiều Rn có cùng lực lượng với tập các số thực R, cũng như một tích vô hạn đếm được các bản sao của R. Trong khi ông sử dụng rộng rãi tính có thể đếm được như một quan niệm, ông chỉ viết thuật ngữ "có thể đếm được" từ năm 1883. Cantor cũng thảo luận những tư tưởng của ông về chiều không gian, nhấn mạnh rằng phép ánh xạ của ông giữa một khoảng đơn vị và một hình vuông đơn vị không phải là một ánh xạ liên tục.

Bài báo này đã làm mếch lòng Kronecker, và Cantor muốn rút nó xuống, tuy nhiên Dedekind thuyết phục ông không làm vậy và Weierstrass tán thành việc công bố[f]. Tuy nhiên, Cantor không bao giờ gửi công trình nào cho tờ Crelle nữa.

Giả thuyết continuum

Cantor là người đầu tiên thiết lập giả thiết mà về sau được biết dưới tên giả thuyết continuum (tiếng Anh: continuum hypothesis, trong các sách thường viết tắt CH): không tồn tại bất cứ tập nào mà lực lượng của nó lớn hơn của tập số tự nhiên và ít hơn tập các số thực (hay một cách tương đương, bản số của số thực là chính xác bằng aleph-1). Cantor tin rằng giả thuyết continuum đúng và nhiều năm liền tìm cách chứng minh nó đã khiến cho ông suy sụp đáng kể[7].

Những tiến bộ về sau trong toán học đã chỉ rõ những khó khăn mà Cantor vấp phải trong việc chứng minh giả thuyết continuum: các kết quả năm 1940 của Gödel và năm 1963 của Paul Cohen cho phép suy luận rằng giả thuyết continuum không thể chứng minh hay bác bỏ nếu sử dụng lý thuyết tập hợp Zermelo-Fraenkel cùng với tiên đề chọn (tiếng Anh là "axiom of choice", tổ hợp hai yếu tố này thường được viết tắt là ZFC)[g]

Nghịch lý

Thảo luận về những nghịch lý liên quan tới lý thuyết tập hợp bắt đầu xuất hiện khoảng cuối thế kỉ 19. Một số trong những nghịch lý ngụ ý những khó khăn cơ bản đối với bản thân lý thuyết[42]. Trong một bài báo năm 1897 về một chủ đề không liên quan, Cesare Burali-Forti đặt ra nghịch lý đầu tiên, nghịch lý Burali-Forti: tự số của tập hợp tất cả các bản số phải là một tự số và điều này dẫn tới mâu thuẫn. Cantor đã phát hiện nghịch lý này năm 1895, mô tả nó trong một bức thư gửi Hilbert năm 1896. Những chỉ trích đạt tới đỉnh điểm khi Cantor đưa ra những lập luận phản bác vào năm 1903 với dự định bảo vệ những giáo lý cơ bản trong lý thuyết của mình[43].Năm 1899, Cantor khám phá ra nghịch lý mang tên ông: bản số của tập hợp của mọi tập hợp là gì? Rõ ràng nó phải là bản số lớn nhất khả dĩ. Nhưng với bất kỳ tập A nào, bản số của tập lũy thừa của A lớn hơn bản số của A (thực kiện này chính là định lý Cantor). Nghịch lý này, cùng với nghịch lý thứ nhất kể trên, dẫn Cantor tới việc thiết lập một quan niệm gọi là phép giới hạn kích thước, theo đó tập hợp của tất cả bản số, hoặc của tất cả tập hợp, là một số "bội không nhất quán" "quá lớn" để là một tập hợp. Về sau người ta gọi những "tập hợp" như vậy làlớp riêng".

Một quan điểm chung của các nhà toán học là những nghịch lý này, cùng với nghịch lý Russell chứng tỏ rằng không thể nào đem một cách tiếp cận giản đơn, phi tiên đề đối với lý thuyết tập hợp mà không có nguy cơ gặp mâu thuẫn, và chắc chắn rằng chúng là những động lực để Zermelo và những người khác tạo nên những phép tiên đề hóa cho lý thuyết tập hợp. Những người khác lại ghi nhận rằng những nghịch lý không thu được trong một cái nhìn không hợp thức khuyến khích bởi những thứ bậc lặp lại, vốn có thể xem như sự diễn giải những ý tưởng về phép giới hạn kích thước. Vài người cũng đặt câu hỏi liệu cách thiết lập lý thuyết tập hợp giản đơn của Frege (thứ bị nghịch lý Russell bác bỏ trực tiếp) có thực sự là một cách diễn giải trung thành của những quan niệm Cantor[44].